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Сегментация изображения 
на основе его описания в виде графа 


В статье рассматривается проблема сегментации изображения на основе использования графа-описания. 
Для проведения сегментации рассматривается только граф-описание, построенный на основе использования 
мультимасштабного представления, полученного на основе свёртки исходного изображения с функцией 
Гаусса. Искомым сегментам соответствуют связные подграфы данного графа, которые получаются 
удалением вершин и рёбер, не удовлетворяющих заданным условиям. Рассмотрены свойства получаемых 
сегментов и их отношения. 


Введение 


Сегментация изображений до сих пор остаётся актуальной задачей из области 
технического зрения, поскольку используется при поиске и распознавании объектов, 
составлении дескрипторов и подписей изображений для больших баз данных [1], 
редактирования изображений и т.п. Сегментирование изображения -— это разбиение 
его на области, содержащие пиксели, объединённые каким-либо общим свойством. 

Основные подходы при сегментации — это 1) выделение границ областей и 
2) выделение самих областей. При первом подходе реализуется поиск пикселей, 
являющихся границами искомых областей согласно какому-либо критерию [2], [3]. 
В частности, используются маски для нахождения пикселей, соответствующих грани- 
цам между областями с различной яркостью, градиентные методы, использующие 
при отборе пикселей границ значения первой и второй производных значений яркости, 
методы из техники графов для отбора пикселей для получения оптимальных границ. 

При втором — объединение пикселей согласно выбранному свойству. При этом 
используются методы пороговой сегментации, метод водораздела, метод разбиения 
и объединения областей и т.д. Также используются методы для выделения текстури- 
рованных областей. Например, широкое распространение получил метод использо- 
вания минимальных сечений в графе [4], [5], позволяющий довольно эффективно 
выделять на изображении текстурированные области. Также для этой цели приме- 
няются методы, использующие Марковские модели [6], [7]. 

Все перечисленные выше методы используют в качестве начальных данных 
значения яркостей отдельных пикселей, образующих изображение. В отличие от этого, 
в настоящей работе предлагается способ сегментации изображений на основе анализа 
и разбиения графа, описывающего (представляющего) изображения, способ построе- 
ния которого описан в работах [8-10]. Данный граф строится на основе использо- 
вания структурных элементов, поиск которых основан на модификации метода выде- 
ления локальных черт [11], [12]. 

Целью данной работы является разработка метода сегментации изображений 
на основе использования графа-описания и исследование свойств полученных сег- 
ментов и их отношений. 
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Построение графа, описывающего изображение 


Для построения графа, описывающего изображение, используется мультимас- 
штабное представление на основе свертки функции яркостей изображения с функ- 
цией Гаусса и её производными. 

Мультимасштабное представление изображения на основе применения функ- 
ции Гаусса представляет собой упорядоченное множество изображений, полученных 
из исходного путём свёртки с ней: 


Цх, у, д’) = 9(х, у, 0,) * (х, у), 
где С(х,у,о,) — функция Гаусса с масштабом о,, в, =Ко,., (*) — операция 
свертки, /(х, у) — исходное изображение. Данное множество изображений образует в 
объединённом трехмерном пространстве (плоскость изображения — масштаб сглажи- 
вания) дискретную функцию Г(х, у, о). Для увеличения скорости построения мульти- 
масштабного представления пользуются октавами исходного изображения — при 
увеличении масштаба сглаживания в два раза во столько же раз уменьшается исход- 
ное. Соответственно, множитель А выбирается так, чтобы \% =2, где №, — коли- 


чество масштабов в одной октаве. 

Однако для выделения структурных элементов изображения используется 
мультимасштабное представление, построенное на основе свёртки с ядром, которое 
представляет собой разность функций Гаусса с различным масштабом сглаживания, 
известное как оператор Вос: 


ОС, у, о) г (С(х, У, о) =@(>,у; @) * Г(х, у) = Мх, у, о) — Их, у, 0,1) : 
Данное представление также образует дискретную функцию О(х, у, д). 


Локальные черты изображения выделяются из условия достижения экстремума 
функции О(х, у, о). При этом координаты (х,у) определяют центр области, соот- 
ветствующей локальной черте, а значение о’- её характерный масштаб. Локальные 
черты, выделяемые с помощью данного оператора РоС, соответствуют пятнообраз- 
ным областям (105$) однородной яркости. 

Множество выделенных локальных черт Ё = {Е‚(х,у,,0’,)} составляет основу 


для описания изображения и объектов, которые его составляют. 

Для формирования структурных элементов, составляющих основу описания 
изображения, используются области изображения, которые соответствуют экстре- 
мумам по направлению в плоскостях мультимасштабного представления О(х,у,о’). 
То есть используются экстремумы по направлению функций ДО(х, у, о = соп5!) . Дан- 
ные экстремумы образовывают хребты и тальвеги данных функций (далее — харак- 
терные линии), которые, в свою очередь, соответствуют протяжённым деталям 
изображения. Как следует из свойств оператора РоС, такими деталями могут быть 
либо границы, либо протяженные области однородной яркости. Причём характер де- 
тали можно определить из поведения характерных линий с изменением масштаба с’. 
Если положение линии изменяется, то она соответствует границе, если положение 
линии остаётся стабильным — протяжённой области с однородной яркостью. 

На рисунках представлены характерные линии исходного изображения, выде- 
ленные для различных масштабов сглаживания. 

Предлагается следующая процедура для выделения дополнительных структурных 
элементов. В каждой плоскости мультимасштабного представления О(х, у,о’,) произ- 
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водится поиск множества экстремумов по направлению Т = {р, = р(х, у, д, ,}} 

функции О(х, у, о = соп5й). Данное множество разбивается на непересекающиеся под- 

множества Т = {1, Ио = ТУК, 1 = А, 1, 1, = ©}, каждое из которых состоит из 
7} 


экстремумов, имеющих одинаковые координаты в плоскости изображения, и рас- 
положенные в последовательности из соседних плоскостей: 


[= {Роу о, МЬЕ Е, (ХУ) = у,), ,Н= щи =й +1}, 


где №, — количество экстремумов р в множестве #. Множество Т’ разделяется на два 


непересекающихся подмножества Г„ и Ти, которые образованы локальными мак- 


х ша › 
симумами И минимумами соответственно. 
Каждое множество | ст образует структурныи элемент. Данный структурныи 


элемент характеризуется координатами в плоскости изображения (х,, у,), масштабом 


[@} 


е" 


= аго п тах (Р(х, у,0)) (дальше — характерный масштаб) и величиной 
Р(х›у, в) ей 

диапазона масштабов, в котором он сохраняет постоянное положение (далее — 

глубина диапазона). Для того чтобы глубина диапазона не зависела от масштаба, она 

характеризуется мощностью множества /. Причём следует учитывать, какого типа 


экстремумы составляют множество ГА ; - Максимумы или минимумы. Если минимумы, 


то значение масштаба должно соответствовать минимальному значению Ох, у, ©), 


если максимумы — максимальному. Также данный структурный элемент характери- 
зуется значением [(х, у.о, „) — характерной яркостью. 

Следует заметить, что Ё < Т, поскольку экстремум функции О(х, у, о) также 
является экстремумом по направлению для О(х, у, о’ = соп5!). Это позволяет описы- 
вать локальные черты при помощи дополнительных структурных элементов, рас- 
положенных в окрестности их центров. 

Множество выделенных локальных черт Е = {Е ‚(х,, у, о’,)} составляет основу для 


описания изображения и объектов на нём. Описание изображения строится на основе 
применения графа. Пусть граф С’ (У',Е”) является описанием изображения Г(х, у). 
Каждой вершине данного графа ставится в соответствие структурный элемент, соот- 
ветствующий множеству #, . Причём каждой вершине соответствует только один струк- 


турный элемент. Ребрами соединяем вершины, если соответствующие им структурные 
элементы являются соседями. 

Соседство разделяется на четыре типа: 1) соседние структурные элементы, 
относящиеся к одной детали изображения, у которых центры являются соседними 
пикселями; 2) ближайшие структурные элементы, относящиеся к соседним деталям 
изображения одного типа; 3) ближайшие структурные элементы, относящиеся к 
соседним деталям изображения разного типа; 4) структурные элементы, центры 
которых расположены рядом и которые преобразуются друг в друга при изменении 
масштаба сглаживания. 

Ребра, отражающие соседство разных типов, маркируются по-разному. Атрибу- 
ты вершин отражают свойства структурных элементов — координаты в плоскости 
изображения, характерные масштаб и яркость. Однако атрибут вершины также мо- 
жет содержать более подробную информацию о множестве 1, которое соответствует 
данной вершине. 
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Рисунок 1 — Исходное изображение Рисунок 2 — Характерные линии, 
выделенные при использовании 
масштаба сглаживания о =3,8 


Рисунок 3 — Характерные линии, Рисунок 4 — Характерные линии, 
выделенные при использовании выделенные при использовании 
масштаба сглаживания о =11,2 масштаба сглаживания о = 33,98 


Восстановление изображения по графу, 
описывающему изображение 


Граф С’ позволяет довольно точно восстанавливать исходное изображение. 


Действительно, поскольку каждый структурный элемент, соответствующий верши- 
нам данного графа, представляет собой область с однородной яркостью и центром в 
определённой точке плоскости изображения, то представляется возможным восста- 
новить исходное изображение. Однако такое изображение будет лишено мелких де- 
талей, размер которых меньше, чем начальный масштаб сглаживания. 

Процедура восстановления проводится по следующему принципу — чем мень- 
ше характерный масштаб структурного элемента, тем больший он имеет приоритет 
при определении яркости конкретного пикселя. 

Поскольку целью является исследование возможности восстановления исход- 
ного изображения по его описанию в виде графа С’ ‚ то используется наиболее прос- 


той способ — в центре каждого структурного элемента рисуется окружность с радиу- 
сом, равным характерному масштабу, и характерной яркостью. Если окружности 
перекрываются, то яркость общих пикселей определяется характерной яркостью 
структурного элемента меньшего масштаба. Если масштабы равны — значение яркос- 
ти в пикселе усредняется. 

На рис. 5-7 показаны результаты восстановления изображения (рис. 1), описан- 
ного графом С’, построенном на основе мультимасштабного представления, содер- 
жащего семь октав по семь масштабов в каждой октаве. Размер исходного изображе- 
ния — 384х288. Начальное значение масштаба сглаживания — о, =1,4. Отражены 
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этапы восстановления, соответствующие минимальному значению характерных мас- 
штабов структурных элементов с’ = 22,4 (рис. 5), о = 6,18 (рис. 6), и конечный резуль- 


тат при © =1,4 (рис. 7). 


Рисунок 5 — Восстановленное изображение, соответствующее минимальному 
характерному масштабу структурных элементов о =22,4 


Как видно из рис. 5-7, чем меньше минимальный характерный масштаб струк- 
турных элементов, используемых для восстановления изображения, тем выше уровень 
детализации. Как и ожидалось, восстановленное изображение лишено мелких деталей, 
размер которых меньше минимального масштаба сглаживания. Из-за этого оно выгля- 
дит несколько сглаженным по сравнению с исходным (рис. 1). Однако визуальная 
оценка показывает, что результат восстановления не сильно отличается от оригинала. 


| 
СА 


Рисунок 6 — Восстановленное Рисунок 7 — Восстановленное 
изображение, соответствующее изображение 
минимальному характерному масштабу 
структурных элементов о’ = 6,18 


Таким же образом возможно и восстановление отдельных областей изображений, 
Е 
которым соответствуют подграфы графа С’, . При этом, как и в случае со всем изобра- 


жением, возможно восстановление с различной степенью детализации, которая отраже- 
на в иерархических связях между отдельными структурными элементами и областями. 

Это свойство позволяет отделять распознанный объект от фона без дополни- 
тельной обработки исходного выражения. Качество восстановленного изображения 
также отражает адекватность предложенного описания. 


Сегментация изображения 


Как показано выше, областям изображения, обладающим однородной ярко- 
стью, соответствуют характерные линии, не меняющие своего расположения в плос- 
кости изображения в достаточно большом диапазоне масштабов сглаживания. Таким 


образом, такой области соответствует связный подграф графа С’ , состоящий из вер- 
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шин, соединённых друг с другом рёбрами типа (1). Поскольку фактически данному 
подграфу соответствует характерная линия (вообще говоря, разветвляющаяся), то 
для её описания уместно применить аппарат скелетного представления, достаточно 
хорошо разработанный к настоящему времени. 

Отношения соседства между областями изображения определяются из того, 
какие вершины соединены рёбрами типов (2) и (3). Иерархические отношения, отра- 
жающие детализацию областей, определяются рёбрами типа (4). 


Т > 
Таким образом, граф С’, позволяет для описания отдельных областей изобра- 


жения использовать два подхода: первый - на основе скелетного представления, вто- 
рой — на основе структуры, образуемой структурными элементами более низких 
уровней иерархии. 

Как указано выше, выделение характерных областей изображения должно быть 


основано на выделении связных подграфов графа С’. Поскольку основу для дан- 


ного описания изображений составляют локальные черты, то каждый из подграфов, 
соответствующих сегментам изображения, должен содержать не менее одной ло- 
кальной черты. 

Предлагается в связные подграфы отбирать те вершины, отношения соседства 
между которыми и сами они удовлетворяют определённым условиям. Учитывая то, 
что каждый такой подграф должен содержать не менее одной локальной черты, 
процесс их выделения выглядит следующим образом — искомые подграфы инициа- 
лизируются вершинами, соответствующими локальным чертам, т.е. каждая такая вер- 
шина — отдельный подграф. Затем данные подграфы расширяются за счёт вершин, 
смежных с теми вершинами, которые принадлежат им. Причем сами эти вершины и 
отношение соседства должно удовлетворять заданным условиям. Если в процессе данно- 
го расширения две смежные вершины, удовлетворяющие заданным условиям соседства, 
оказываются принадлежащими разным подграфам, то данные подграфы объединяются. 

Фактически исходный граф разбивается на подграфы путем удаления из рас- 
смотрения вершин и рёбер, не удовлетворяющих заданным условиям. В результате 
данной процедуры граф разбивается на связные подграфы. Из данных подграфов 
искомыми являются те, что содержат по крайней мере одну локальную черту. 

В качестве параметра для отбора вершин была использована их глубина диапа- 
зона. В качестве параметров для отбора ребер — тип соседства, который они отража- 
ют, и то, как соотносятся диапазоны и характерные масштабы соседей друг с другом. 

Поскольку положение структурных элементов должно быть стабильным в не- 
котором диапазоне масштабов, то выбрасываются из рассмотрения вершины, соот- 
ветствующие структурным элементам с глубиной диапазона от двух и выше. 

Из рассмотрения выбрасываем ребра, которые отражают отношения соседства 
типов (2), (3) и (4). То есть остаются только рёбра, соединяющие вершины, которым 
соответствуют структурные элементы, центры которых расположены в соседних пик- 
селях. Причём характерные масштабы данных структурных элементов должны при- 
надлежать диапазону ао соседа. То есть должно выполнятся условие: 


(бты < — ем - бах) ^ = ыы би С в (1) 
где [9.9], [9-02 „| — диапазоны масштабов соседних структурных элементов, 


о! д? — их характерные масштабы. 


еж? ^ ех 
С при сегментировании (выделении подграфов) не использовать условие 
(1), то в результате получатся подграфы, соответствующие областям изображения, 
которые имеют яркость меньшую или большую по сравнению с фоном. Для того 
чтобы визуализировать результат сегментации, используется метод восстановления 
изображения на основе графа-описания, описанный выше. В качестве исходных 
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данных используется не весь граф, а выделенный подграф. На рис. 8 представлены 
примеры сегментов, выделенных на исходном изображении (рис. 1). Отдельные сег- 
менты восстановлены на основе соответствующих им подграфов на фоне исходного изо- 
бражения. Для лучшего выделения данных сегментов на окружающем фоне, исходное 
изображение затемнено. Как видно из рис. 8, происходит выделение областей с одно- 
родной яркостью по отношению к окружающему фону. Зачастую таким областям соот- 
ветствуют отдельные объекты, которые составляют сцену на изображении. 


а) Ь) 


Рисунок 8 — Примеры выделенных сегментов 


Как видно из рис. 8, представленные примеры выделенных восстановленных 
изображений, соответствующих отдельным подграфам, лишены детализации. Это 
происходит потому, что сами эти сегменты изображения содержат более мелкие 
детали, которые по яркости выделяются на окружающем фоне. Данным деталям 
также соответствуют подграфы/сегменты. На рис. 9 представлены примеры таких 
сегментов, являющихся частью большего сегмента (рис. 8с). Таким образом, данная 
процедура сегментации на основе применения графа-описания позволяет не только 
разбивать изображение на отдельные сегменты, но и выделять их составные части, 
соответствующие более высокому уровню детализации. Данное свойство позволяет 
устанавливать между сегментами иерархические отношения, отражающие степень 
детализации при сегментировании исходного изображения. В свою очередь, данные 
отношения отражают иерархическую структуру как выделенных сегментов, так и 


самого изображения. Данный результат есть следствие свойств графа-описания С’ ‚ от- 
ражающего иерархические отношения между структурными элементами изображения. 


а) ь) с) 


Рисунок 9 — Примеры сегментов, являющихся частью сегмента, представленного на 
рис. 8 с), при более высоком уровне детализации изображения 


Обозначим множество подграфов, выделенных с помощью вышеописанного 
1 
способа, О' = {4!} ‚ где 4! — подграф разбиения. 
Если при разбиении на подграфы использовать все вышеуказанные условия 


(в том числе и (1)), то результатом будут сегменты изображения, соответствующие 
линиям однородной яркости, толщина которых меняется плавно. Обозначим множе- 


ство данных подграфов 0? = {4?\, где 4? — подграф разбиения. 
р ; : рафр 
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Сегментация изображения на основе его описания в виде графа ДА 


Поскольку способы получения множеств р! И р? отличаются лишь добав- 
лением дополнительного условия, то очевидно, что элементы а являются подгра- 


1 > > 
фами 4; . В частности, это означает, что каждыи сегмент, соответствующии подгра- 


фам из О’, может быть разбит на подсегменты, соответствующие подграфам из 2”. 

На рис. 10 представлены подмножества сегментов, принадлежащих 0” и соот- 
ветствующих отдельным сегментам из О', которые представлены на рис. 8. Таким 
образом, элементы множества 0” определяют внутреннюю структуру сегментов, соот- 
ветствующих элементам множества О’. Таким образом, между элементами множеств 
Р' и 2” устанавливаются иерархические отношения, определяющие внутреннюю 
структуру сегментов из О'. То есть разбиение сегментов из О’ на подсегменты при 
том же уровне детализации. 

Таким образом, иерархические отношения между элементами ШО’ отражают 
структуру сегментов и самого изображения при различных уровня детализации, а 


1 2 
между элементами из Ри О” — при одном уровне детализации, соответствующем 
элементам из О’. 


а) ь) с) 


Рисунок 10-— Примеры подмножеств сегментов, принадлежащих множеству р? , 
которые соответствуют элементам из р' и представлены на рис. 8 


Отношения пространственного соседства для сегментов, соответствующих эле- 


ментам множеств р! И Ве ‚› определяются на основе отношений соседства между струк- 
турными элементами, составляющими основу для графа-описания изображения. 


Выводы 


Граф-описание позволяет проводить сегментацию изображения на основе раз- 
биения его на связные подграфы. Для проведения данного разбиения были исполь- 
зованы довольно простые и логичные правила, вытекающие из свойств структурных 
элементов, составляющих основу для графа-описания. Данное разбиение адекватно 
выделяет области с однородной яркостью по сравнению с окружающим фоном. При- 
чём выделенные сегменты изображения соответствуют различным уровням детализа- 
ции и структурирования, что отражается в иерархических отношениях двух типов 
между ними. 

Данная сегментация вполне адекватно отображает структуру изображения, не- 
смотря на довольно простые правила, применённые для этого. Это позволяет предпо- 
ложить, что использование более сложных способов сегментации позволит более 
точно выделять сегменты изображений, соответствующие отдельным объектам и их 
составным частям. То есть использование графа-описания для сегментации изображе- 
НИЙ представляется довольно перспективным. 


«Штучний 1нтелект» 32010 281 


Агарков А.В. 


Следует также заметить, что элементы множеств О' и 2” и отношения между 
ними составляют основу для более обобщённого описания изображения, чем у 
исходного графа-описания. Данное описание также удобно и естественно представить 
в виде графа, вершинам которого соответствуют элементы множеств О' и 0”, а рёбра 
отражают иерархические и пространственные отношения между соответствующими 


сегментами. Природа сегментов, соответствующих элементам множеств О' и 2”, и 
отношения между ними позволяют предположить, что данный граф возможно исполь- 
зовать для выделения текстур на изображении, а также в качестве обобщённого 
описания изображений для индексирования в базе графических данных. 

Дальнейшие исследования по данной теме будут посвящены поиску способов 
разбиения графа-описания на подграфы, которые бы соответствовали сегментам, 
устойчиво и однозначно выделяемым на одинаковых объектах, независимо от изобра- 
жения. Это позволит использовать выделенные сегменты для описания и распознава- 
ния различных объектов. 
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